---
title: 探秘Compass实验室，带你轻松玩转开源LLMs项目评估模型！
tags:
  - 动态
---

![image5.jpg](media/report.png)

<!--truncate-->

嗨，各位开源探险家们！今天小编要向大家介绍开源界的新宠儿——OSS Compass（以下简称“Compass”）的最新玩意儿！没错，就是我们的新 SaaS 服务——Compass 实验室！咦，你还没听说过？别急，听我一一道来，保证让你眼前一亮，内心一蹦！

在开源的世界里，每天都有无数项目在不断涌现，但如何准确地衡量一个开源项目的健康度却是个让人头疼的问题。还好我们有 Compass，它就像是开源项目的健康体检医生。而最近，它又加入了一位新成员——Compass 实验室！

### 什么是 Compass 实验室？

Compass 实验室是源自 OSS Compass 开源项目的一款开源社区度量模型孵化器，听起来有点高大上，其实就是为开源项目量身定制的“健康评测中心”。而这个评测中心不仅仅是给开发者们提供了数据，更是一个充满趣味和创意的平台。

Compass 实验室基于超过 20,000 个开源项目的海量数据，带来了超过 200 个项目类别和 100 多个评估指标，想要评估一个项目的各个维度？它应有尽有！你可以根据自己的需要选择不同的评估指标与数据集进行组合，简直是评测迷的福音！

### 如何开始“玩”转 Compass？

其实很简单！首先，你需要一个充满好奇心的心态。接着，注册并登录 Compass 实验室的 SaaS 服务平台，你会发现一个奇妙的世界。你可以选择已有的评估模型，也可以根据自己的兴趣定制一个。

<center>

#### 【创建通用模型的步骤】

</center>

#### 1. 打开创建模型页面

在 Compass 官网，在实验室页面右侧找到创建模型的区域。

![image1.png](<media/image(16).png>)

#### 2. 填写基础信息

填写模型的基础信息，比如生态维度、模型名称、适用行业、是否公开。

![image1.png](<media/image(2).png>)

#### 3. 选择数据集

从 200+数据集中选择适合你的数据集，根据不同领域的需求灵活选择。

![image1.png](<media/image(3).png>)

#### 4. 选择度量指标

在来自 CHAOSS 以及 Compass 的 100+度量指标中，根据代码、Issue、PR、仓库、贡献者等分类选取你关心的指标。

![image1.png](<media/image(4).png>)

#### 5. 调整权重和阈值：

接着，在权重百分比输入框中输入权重值或拖动比例条调整权重值（默认只能向右拖动），在阈值输入框中调整阈值（注意不要超出给定的阈值范围）。这个过程就像在制作你的专属披萨一样，按自己的口味加料！

![image1.png](<media/image(5).png>)

#### 6. 选择算法

目前我们仅支持系统默认算法（如下图所示），不过别担心，这个算法可是大牛 Rob Pike 亲自打造的哦！关于这个算法的详细解读，请参考我们之前发布的文章 OSS Compass 分制切换 | 看算法变身魔法！如果你对算法有更多想法，可以加入官方 Slack 社区（见文末），和其他开源探险家一起探讨。

![image1.png](<media/image(6).png>)

#### 7. 发布模型

核对信息无误后，点击发布模型。

![image1.png](<media/image(7).png>)

接下来，让数据和创意在这里碰撞，创造属于你的项目健康度模型吧！

### 你的创意，这里都有地盘！来创建一个 LLMs 项目评估模型吧！

Compass 实验室不仅提供通用的项目评估模型，还为有着独特创意的开发者们准备了特别的地盘。如果你有一个与众不同的开源项目，想要为它打个健康分数，那就来吧！在这里，你可以为自己的项目定制评估模型，让你的创意腾飞！

举个例子，如果你对开源 LLMs 项目感兴趣，或者拥有自己的开源 LLMs 项目，你可以为它创建一个评估模型：

#### 1. 给你的模型起一个不错的名字：

除了命名，别忘记选择是一般还是特殊领域，以及是否愿意公开你的模型。

![image1.png](<media/image(8).png>)

#### 2. 选择数据集：

选取开源 LLMs 和开源 LLMs 工具这两个分类下的项目，以便进行同类项目横向对比。（我们的数据集还在不断增加哦~）

![image1.png](<media/image(9).png>)

#### 3. 选择度量指标并调整权重和阈值：

根据开源 LLMs 项目的特性选择适当的度量指标，比如组织数量、代码提交频率、持续贡献等。

![image1.png](<media/image(10).png>)

按照前面已经演示过的的操作步骤，调整每个指标的权重和阈值。点击“保存”，这样你就完成了一个模型的定制。

#### 4. 分析和查看评估结果：

点击分析并等待完成，就可以查看评估报告了~

<center>

![image1.png](<media/image(11).png>)

</center>

分析完成后的报告：

![image1.png](<media/image(12).png>)

#### 5. 发表评论：

此外，我们还在报告页增加了评论功能，点击右上角评论按钮即可发表你的看法~

![image1.png](<media/image(13).png>)

#### 6. 邀请朋友协作：

你还可以邀请朋友一起协作、帮你打造更完美的模型哦~只需要在模型页面点击“用户管理”，设置协作权限，然后发送邀请就可以了~

![image1.png](<media/image(14).png>)

![image1.png](<media/image(15).png>)

### 探索开源的无限乐趣，尽在 Compass 实验室！

通过今天的介绍，相信大家已经对 Compass 实验室有了更深入的了解。在这里，你不仅可以探索开源项目的各个维度，还能够为自己的创意定制评估模型，将创造力和数据相结合。这个开源世界的“评测乐园”等你来玩呢！

如果你还没有体验过 Compass 实验室，赶快行动起来吧！让我们一起探索开源世界的无限乐趣，玩转数据的奥秘！记得关注我们，获取更多有趣的科技资讯和创意活动，我们下期再见！一起开启无限创意的开源之旅吧！
